去醫院或物理治療時，治療師可能會教一些回家需要持續做的復健動作，但回家之後，使用者常常只記得「這個動作要做」，卻不一定知道自己做得對不對。
有時候動作看起來完成了，實際上可能出現身體傾斜、左右不對稱，甚至利用其他部位代償。
所以我們希望透過一般電腦或手機的攝影機，讓系統可以協助觀察使用者的動作。
我們先從人體姿態估測開始。
目前預計使用 MediaPipe Pose Landmarker，從攝影機畫面中取得人體的關鍵點，
例如：肩膀、手肘、手腕、髖部、膝蓋、腳踝

取得這些關鍵點之後，就可以進一步利用各個點的座標，計算關節角度、身體左右是否對稱，以及使用者目前的動作狀態，目前希望使用者，能盡量做到，因為有時候身體會不允許做到標準的正確動作，這時候可能就考慮依據使用者設定難度，如果數次不達標就會記錄下來，本專案主要是希望可以協助使用者更加積極地進行復健運動，避免怠惰。
例如在做深蹲時，可以透過髖部、膝蓋及腳踝的位置計算膝關節角度；如果之後可以成功辨認出「站立 → 下蹲 → 站立」的完整過程，就能進一步做到自動計算動作次數。
而這也是我們後續想加入「動作完成驗證」的基礎，讓復健紀錄不只是使用者自己按下「完成」，而是真的透過攝影機觀察動作是否有執行。

因此，「讓電腦看到人體骨架」可以說是整個專案最基礎的一步。